全球世界正在穿越大流行形势,这是一个灾难性的呼吸综合征爆发被认为是Covid-19。这是212个国家的全球威胁,即人们每天都会遇到强大的情况。相反,成千上万的受感染的人居住丰富的山脉。心理健康也受到全球冠状病毒情况的影响。由于这种情况,在线消息来源使普通人在任何议程中分享他们的意见。如受影响的新闻相关的积极和消极,财务问题,国家和家庭危机,缺乏进出口盈利系统等。不同的情况是最近在任何地方的时尚新闻。因此,在瞬间内产生了大量的文本,在次大陆领域,与其他国家的情况相同,以及文本的人民意见和情况也是相同的,但语言是不同的。本文提出了一些具体的投入以及来自个别来源的孟加拉文本评论,可以确保插图的目标,即机器学习结果能够建立辅助系统。意见挖掘辅助系统可能以可能的所有语言偏好有影响。据我们所知,文章预测了Covid-19问题上的Bangla输入文本,提出了ML算法和深度学习模型分析还通过比较分析检查未来可达性。比较分析规定了关于文本预测精度的报告与ML算法和79%以及深度学习模型以及79%的报告。
translated by 谷歌翻译
Transformers have recently gained attention in the computer vision domain due to their ability to model long-range dependencies. However, the self-attention mechanism, which is the core part of the Transformer model, usually suffers from quadratic computational complexity with respect to the number of tokens. Many architectures attempt to reduce model complexity by limiting the self-attention mechanism to local regions or by redesigning the tokenization process. In this paper, we propose DAE-Former, a novel method that seeks to provide an alternative perspective by efficiently designing the self-attention mechanism. More specifically, we reformulate the self-attention mechanism to capture both spatial and channel relations across the whole feature dimension while staying computationally efficient. Furthermore, we redesign the skip connection path by including the cross-attention module to ensure the feature reusability and enhance the localization power. Our method outperforms state-of-the-art methods on multi-organ cardiac and skin lesion segmentation datasets without requiring pre-training weights. The code is publicly available at https://github.com/mindflow-institue/DAEFormer.
translated by 谷歌翻译
Machine learning (ML) has recently facilitated many advances in solving problems related to many-body physical systems. Given the intrinsic quantum nature of these problems, it is natural to speculate that quantum-enhanced machine learning will enable us to unveil even greater details than we currently have. With this motivation, this paper examines a quantum machine learning approach based on shallow variational ansatz inspired by tensor networks for supervised learning tasks. In particular, we first look at the standard image classification tasks using the Fashion-MNIST dataset and study the effect of repeating tensor network layers on ansatz's expressibility and performance. Finally, we use this strategy to tackle the problem of quantum phase recognition for the transverse-field Ising and Heisenberg spin models in one and two dimensions, where we were able to reach $\geq 98\%$ test-set accuracies with both multi-scale entanglement renormalization ansatz (MERA) and tree tensor network (TTN) inspired parametrized quantum circuits.
translated by 谷歌翻译
正在纳入数十种新工具和技术,以帮助开发人员,因为他们努力选择一种而不是其他人,这已成为震惊的根源。例如,开发人员至少有十个框架可用于开发Web应用程序,并在选择满足其需求的最佳框架时提出了一个难题。结果,开发人员正在不断搜索每个API,框架,工具等的所有好处和缺点。典型的方法之一是通过官方文档和讨论来检查所有功能。这种方法是耗时的,通常使难以确定哪些方面对特定开发人员最重要,以及特定方面对整个社区是否重要。在本文中,我们使用了从stackoverflow帖子中收集的基准API方面数据集(意见器),并观察了Transformer模型(Bert,Roberta,Distilbert和XLNet)在检测有关基线支持矢量的文本开发人员讨论中的软件方面时的表现机器(SVM)型号。通过广泛的实验,我们发现变压器模型改善了大多数方面的基线SVM的性能,即``performance'',``安全性'',``可用性'',``可用性'',``bug''',``bug''' '和``其他''。但是,这些模型未能理解某些方面(例如,“社区”和“陶器”),其性能取决于方面。同样,与Distilbert这样的较小体系结构相比,XLNET等较大的体系结构在解释软件方面无效。
translated by 谷歌翻译
图形神经网络(GNN)被广泛用于在图形上执行不同的机器学习任务。随着图形的大小不断增长,GNN变得更深,除了记忆要求之外,训练和推理时间也变得昂贵。因此,在不牺牲准确性的情况下,图形稀疏或模型压缩成为图形学习任务的可行方法。一些现有技术仅研究图形和GNN模型的稀疏性。在本文中,我们开发了一条稀疏管道,以研究GNN中所有可能的稀疏。我们提供了理论分析,并从经验上表明,它可以在嵌入矩阵的情况下总计11.6 \%的额外稀疏性,而无需牺牲常用的基准图数据集的准确性。
translated by 谷歌翻译
多年来,卷积神经网络(CNN)已成为多种计算机视觉任务的事实上的标准。尤其是,基于开创性体系结构(例如具有跳过连接的U形模型)或具有金字塔池的Artous卷积的深度神经网络已针对广泛的医学图像分析任务量身定制。此类架构的主要优点是它们容易拘留多功能本地功能。然而,作为一般共识,CNN无法捕获由于卷积操作的固有性能的内在特性而捕获长期依赖性和空间相关性。另外,从全球信息建模中获利的变压器源于自我发项机制,最近在自然语言处理和计算机视觉方面取得了出色的表现。然而,以前的研究证明,局部和全局特征对于密集预测的深层模型至关重要,例如以不同的形状和配置对复杂的结构进行分割。为此,本文提出了TransDeeplab,这是一种新型的DeepLab样纯变压器,用于医学图像分割。具体而言,我们用移动的窗口利用层次旋转式变形器来扩展DeepLabV3并建模非常有用的空间金字塔池(ASPP)模块。对相关文献的彻底搜索结果是,我们是第一个用基于纯变压器模型对开创性DeepLab模型进行建模的人。关于各种医学图像分割任务的广泛实验证明,我们的方法在视觉变压器和基于CNN的方法的合并中表现出色或与大多数当代作品相提并论,并显着降低了模型复杂性。代码和训练有素的模型可在https://github.com/rezazad68/transdeeplab上公开获得
translated by 谷歌翻译
物联网(IoT)是一个新兴的概念,它直接链接到连接到Internet的数十亿个物理项目或“事物”,并且都在收集和在设备和系统之间收集和交换信息。但是,IoT设备并未考虑到安全性,这可能会导致多设备系统中的安全漏洞。传统上,我们通过调查物联网开发商和专家来调查物联网问题。但是,该技术是不可扩展的,因为对所有物联网开发人员进行调查是不可行的。研究物联网问题的另一种方法是在主要在线开发论坛(如Stack Overflow(So))上查看IoT开发人员讨论。但是,发现与物联网问题相关的讨论是具有挑战性的,因为它们经常不属于与IoT相关的术语。在本文中,我们介绍了“ IoT安全数据集”,这是一个针对7147个示例的特定领域数据集,仅针对IoT安全讨论。由于没有自动化工具来标记这些样品,因此我们将其标记为标签。我们进一步采用了多个变压器模型来自动检测安全讨论。通过严格的调查,我们发现物联网安全讨论与传统的安全讨论更加不同,更复杂。当我们从通用数据集“ Opiner”转移知识时,我们证明了跨域数据集上的变压器模型的大量性能损失(多达44%)。因此,我们构建了一个特定于域的IoT安全检测器,F1得分为0.69。我们已经公开了数据集,希望开发人员能够了解有关安全性讨论的更多信息,并且供应商将加强他们对产品安全的担忧。
translated by 谷歌翻译
在过去的几年中,卷积神经网络(CNN),尤其是U-NET,一直是医学图像处理时代的流行技术。具体而言,开创性的U-NET及其替代方案成功地设法解决了各种各样的医学图像分割任务。但是,这些体系结构在本质上是不完美的,因为它们无法表现出长距离相互作用和空间依赖性,从而导致具有可变形状和结构的医学图像分割的严重性能下降。针对序列到序列预测的初步提议的变压器已成为替代体系结构,以精确地模拟由自我激进机制辅助的全局信息。尽管设计了可行的设计,但利用纯变压器来进行图像分割目的,可能导致限制的定位容量,导致低级功能不足。因此,一系列研究旨在设计基于变压器的U-NET的强大变体。在本文中,我们提出了Trans-Norm,这是一种新型的深层分割框架,它随同将变压器模块合并为标准U-NET的编码器和跳过连接。我们认为,跳过连接的方便设计对于准确的分割至关重要,因为它可以帮助扩展路径和收缩路径之间的功能融合。在这方面,我们从变压器模块中得出了一种空间归一化机制,以适应性地重新校准跳过连接路径。对医学图像分割的三个典型任务进行了广泛的实验,证明了透气的有效性。代码和训练有素的模型可在https://github.com/rezazad68/transnorm上公开获得。
translated by 谷歌翻译
卷积神经网络(CNN)已成为医疗图像分割任务的共识。但是,由于卷积操作的性质,它们在建模长期依赖性和空间相关性时受到限制。尽管最初开发了变压器来解决这个问题,但它们未能捕获低级功能。相比之下,证明本地和全球特征对于密集的预测至关重要,例如在具有挑战性的环境中细分。在本文中,我们提出了一种新型方法,该方法有效地桥接了CNN和用于医学图像分割的变压器。具体而言,我们使用开创性SWIN变压器模块和一个基于CNN的编码器设计两个多尺度特征表示。为了确保从上述两个表示获得的全局和局部特征的精细融合,我们建议在编码器编码器结构的跳过连接中提出一个双层融合(DLF)模块。在各种医学图像分割数据集上进行的广泛实验证明了Hiformer在计算复杂性以及定量和定性结果方面对其他基于CNN的,基于变压器和混合方法的有效性。我们的代码可在以下网址公开获取:https://github.com/amirhossein-kz/hiformer
translated by 谷歌翻译
图表表示学习是一种快速增长的领域,其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务,例如链路预测,节点分类,群集和可视化。图表社区的集体努力提供了数百种方法,但在所有评估指标下没有单一方法擅长,例如预测准确性,运行时间,可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体,参数选择,可伸缩性,硬件和软件平台,下游ML任务和多样化数据集。我们使用包含手动特征工程,矩阵分解,浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类,链路预测,群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验,并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能,并总结了结果。因此,本文可以作为比较指南,以帮助用户选择最适合其任务的方法。
translated by 谷歌翻译